АНО «Цифровая экономика», по сообщению газеты «Ведомости», предлагает сформировать в России единое доверенное хранилище данных. Предполагается, что такая платформа будет развёрнута к 2030 году, что поможет в развитии государственных сервисов и бизнес-систем.

С инициативой выступает группа экспертов, возглавляемая вице-президентом «Ростелекома» Борисом Глазковым. Говорится, что к концу текущего десятилетия «90 % обработанных данных в обезличенном или персонифицированном виде доступны государству, бизнесу и гражданам в едином доверенном источнике для развития data driven госуправления и бизнеса в РФ».

Источник изображения: pixabay.com

Под термином «data driven госуправление» подразумевается разработки и реализации государственной политики, в которой принятие решений и формулирование политических стратегий основаны на обширном сборе, анализе и использовании всевозможных данных. Получаемая из различных источников информация может быть использована для оценки текущей ситуации, выявления проблем и проработки потенциальных решений, а также для анализа воздействия политики на общество.

3 сентября 2023 года президент России Владимир Путин поручил утвердить национальный проект по формированию экономики данных на период до 2030-го. Инициатива предусматривает сбор информации, в том числе с использованием высокочувствительных датчиков на основе квантовых сенсоров. Кроме того, должна быть создана инфраструктура вычислений и хранения данных с использованием отечественных оборудования, технологий и программного обеспечения, в том числе облачных платформ, ЦОД и вычислительных мощностей.

Участники рынка говорят, что сбор и обработка огромного объёма данных технически возможны с использованием современных технологий, но требуют мощных вычислительных ресурсов. Для формирования единого хранилища потребуется принятие новых законодательных норм, гарантирующих «безопасность данных и защиту личной конфиденциальности». В целом, проект может помочь в создании отечественного ПО, поскольку разработчикам часто не хватает данных для проверки гипотез и написания более эффективных приложений.

Стартап NeuroBlade, специализирующийся на разработке решений для ускорения анализа данных, объявил о сотрудничестве с сообществом Velox компании Meta✴ Platforms с целью интеграции ускорителя SQL Processing Unit (SPU) в новый унифицированный фреймворк для работы с данными.

Как отметили в NeuroBlade, полная интеграция SPU NeuroBlade в Velox обеспечивает ускорение обработки данных более чем в 10 раз, помимо трёхкратного повышения производительности, уже достигнутого Velox за счет оптимизации ПО. Цель проекта заключается в том, чтобы дать компаниям возможность эффективно обрабатывать огромные наборы данных, говорится в пресс-релизе.

Источник изображения: NeuroBlade

Элад Сити (Elad Sity), гендиректор и соучредитель NeuroBlade, подчеркнул важность совместных усилий, которые «знаменуют эпоху, когда организации смогут умело управлять растущими объёмами данных, повышать производительность аналитики и получать значительные конкурентные преимущества».

Velox представляет собой унифицированный open source движок, который объединяет различные программные оптимизации в области обработки запросов в единую высокопроизводительную библиотеку, а в будущем и в самостоятельный фреймворк. Velox уже совместим с Presto и Apache Spark. Интеграция SPU NeuroBlade в Velox достигается за счёт новых API Velox, которые позволят произвольно переносить выполнение части запросов на ускоритель.

Как отмечается в пресс-релизе, CPU с трудом справляются с аналитическими запросами, скорость которых превышает 2–3 Гбайт/с, из-за ограничений в обработке данных и сложности запросов. SPU NeuroBlade позволяет решить эту проблему, поскольку предлагает специализированный процессор, который обеспечивает аппаратную обработку сложных запросов и работу с памятью и хранилищем, что позволяет разгрузить CPU и добиться постоянной пропускной способности при обработке больших данных и снизить задержки.

Стартап Databricks, разработчик платформы машинного обучения, анализа и обработки данных, сообщил о проведении раунда финансирования Series I: на развитие привлечено дополнительно $500 млн. Таким образом, на сегодняшний день общий объём инвестиций в эту компанию превысил $4 млрд.

Databricks предоставляет озеро данных, которое предприятия могут использовать для хранения, организации и анализа больших объемов информации. Стартап также помогает заказчикам в развёртывании собственных приложений на базе генеративного ИИ. Компания основана в 2013 году создателями Apache Spark.

Источник изображения: Gabby Jones / Bloomberg

Отмечается, что Databricks быстро наращивает выручку: по итогам II четверти текущего финансового года, которая была закрыта 31 июля, показатель преодолел знаковый рубеж в $1,5 млрд — это более чем на 50 % превосходит прошлогодний результат. В глобальном масштабе решения Databricks применяют свыше 10 тыс. организаций, включая более половину компаний из списка Fortune 500.

Раунд финансирования Series I проведён под руководством T. Rowe Price Associates. В программе также приняли участие Andreessen Horowitz, Baillie Gifford, ClearBridge Investments, Counterpoint Global (Morgan Stanley), Fidelity Management & Research Company, Franklin Templeton, GIC, Octahedron Capital, Tiger Global, Capital One Ventures, Ontario Teachers' Pension Plan и NVIDIA.

Прошлый раунд финансирования Databricks был завершён в 2021 году: тогда стартап получил $1,6 млрд, а его рыночная стоимость достигла $38 млрд. Теперь же капитализация оценивается в $43 млрд при стоимости акций на уровне $73,5.

Минцифры сообщило о скором начале реализации очередного национального проекта «Экономика данных». Как сообщает пресс-служба министерства, проект подготовят до конца текущего года. При этом реализация нового проекта будет продолжаться до 2030 года. Целью проекта станет перевод всей экономики, социальной сферы и органов власти на новый уровень. Это касается решений в области логистики, телемедицины, онлайн-образования и предоставления госуслуг.

Как сообщает «Интерфакс», речь идёт не только о консолидации уже существующих инструментов, применяемых для развития систем ИИ, квантовых технологий и цифровой экономики в целом — необходимо выстроить целостный механизм создания и внедрения новых разработок. Как уточняется, фокус следует сделать на ряде направлений:

• Сбор данных с использованием высокочувствительных датчиков, включая квантовые сенсоры. Такие технологии уже применяются как в промышленности, так и, например, в медицине и системах связи;
• Передача данных и развитие систем связи. Связь должна обеспечиваться в режиме реального времени на больших скоростях — это и отсутствие задержек при передаче информации необходимо для автоматизации транспорта и городской среды вообще;
• Хранение данных в стране должно быть эффективно организовано за счёт развития облачных платформ, ЦОД и собственных вычислительных мощностей, включая квантовые компьютеры;
• Безопасность данных должна быть обеспечена благодаря квантовым технологиям передачи данных и шифрования, способным противостоять любым угрозам, в том числе атакам с использованием квантовых компьютеров;
• Стандарты и протоколы работы с данными необходимы во всех IT-сферах, как для обеспечения безопасности, так и для того, чтобы регламентировать хранение персональных данных, в том числе с использованием квантовой криптографии;
• Наконец, внимание будет уделяться обработке и анализу данных и созданию репозиториев открытого кода, причём анализ данных необходимо проводить на основе ИИ-алгоритмов, используя отечественное программное обеспечение. Для этого потребуется развитие отечественных сервисов и платформ для совместной работы программистов со всего мира, в первую очередь из России.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Как сообщают в Минцифры, новый национальный проект в конечном счёте направлен на повышение качества жизни граждан за счёт роста качества работы властей, роста экономики и развития социальной сферы. Какие средства будут выделены на реализацию проекта и какие именно направления будут развиваться особенно активно, будет объявлено позже.

Рынок больших данных в России при базовом сценарии развития вырастет до 319 млрд руб. к концу 2024 года, полагают в Ассоциации участников рынка больших данных (АБД, объединяет «Яндекс», VK, «Ростелеком», «Мегафон» и др.). АБД разработала стратегию развития ИТ-рынка, описывающую пять различных сценариев. Об этом сообщает «Коммерсантъ».

Наилучший сценарий (рост рынка до 441 млрд руб.) предполагает появление страхования от утечек персональных данных для защиты их субъектов. Целевой подразумевает рост рынка со 170 млрд руб. в 2021 году до 319 млрд руб. в 2024 году. В этом случае рынок должен быть «приоритетным для государства», а услуги и решения в области Big Data — распространяться на другие сегменты, где нужно стимулировать спрос и заниматься импортозамещением ПО.

Изображение: Wynn Pointaux / Pixabay

Если же, пишет «Коммерсантъ», государство будет вести политику «мобилизационной экономики» в области Big Data (монополизация и возложение госзаданий на крупные компании), то граждане будут готовы делиться минимумом информации. При таком сценарии рынок больших данных в России составит всего 189 млрд руб. к концу 2024 года.

Стратегия обсуждается с администрацией президента, Минцифры, Минэкономики, Минпромторгом, Госдумой и Советом федерации. В Минцифры «Коммерсанту» сообщили, что представили АБД договорились с бизнесом о разработке совместного проекта по подготовке ИТ-аналитики, чтобы заполнить нишу отраслевой аналитики, которая образовалась после ухода с рынка ряда западных агентств.

Сбер разработал графовую платформу для работы с большими данными и встроил ее в бизнес-процессы корпоративного и розничного кредитования. В компании уверяют, что это позволит эффективнее принимать решения о выдаче кредитов и их параметрах.

Платформа состоит из восьми сервисов. «Лаборатория графов» — это интерактивный инструмент для исследования графов и разработки новых графовых моделей (ML), который позволяет пользователям загружать свои данные и строить собственные витрины. Сервис «Графовые расчеты» помогает выполнять массовые регулярные расчеты на больших графах для исполнения графовых моделей. «Единый граф клиентских связей» (ЕГКС) объединяет актуальные витрины данных о полной связанности между собой всех клиентов банка.

Источник изображения: Kevin Ku/unsplash.com

Еще один сервис — «Онлайн-доступ к графу» — работает в режиме «вопрос – ответ». Например, он поможет выяснить, есть ли признаки фрода (мошеннических операций) в окружении клиента. «Визуализация графов» отвечает за доступ к интерактивному просмотру графов и выявляет скрытые взаимосвязи между компаниями и физлицами, а сервис поиск неявных связей Link Prediction — за неизвестные факты о связанности клиентов, если данные о них изначально отсутствовали или были скрыты.

Среди сервисов также есть «Графовые нейронные сети» (GNN) — это готовый пайплайн обучения Graph Convolutional Network на базе PyTorch Geometric по собственным таргетам. «Встраиваемая графовая база данных» подходит для нестандартных решений. В ядре платформы Сбера находится собственная производительная база данных FastGraph, а также open-source-технологии стека Hadoop.

Как отмечают в компании, уже собрано более 17 Пбайт плотно связанной между собой неоднородной обезличенной информации. Сервисы платформы применяются в десятках автоматизированных бизнес-процессов Сбера. BI-инструментами и данными платформы пользуется 6,5 тыс. специалистов компании.

Входящая в группу «Россельхозбанка» компания R-Style Softlab сообщила о выпуске на российский рынок нового продукта R-Style Intelligent System (RSIS), предназначенного для работы с данными и организации долгосрочного их хранения средствами СУБД ArenaDataDB, GreenPlum, PostgreSQL.

RSIS позволяет собирать и аккумулировать данные из различных источников, обрабатывать их и визуализировать полученные результаты, что способствует принятию эффективных управленческих решений. В основу платформы положена датацентричная реализация с применением методологии Data Vault («Свод данных»). По заверениям разработчика, такой подход обеспечивает высокую скорость загрузки и обработки данных.

Источник изображения: our-team / freepik.com

В числе прочих особенностей R-Style Intelligent System называются совместимость программного комплекса с отечественными решениями класса Business Intelligence (BI), поддержка потоковой и пакетной загрузки данных, в том числе механизмов взаимодействия с пакетом Apache Hadoop, возможность интеграции с партнёрскими решениями на базе искусственного интеллекта. Для обеспечения актуальности и качества данных возможно применение методологии Data Governance.

«Мы придерживаемся комплексного подхода к автоматизации работы с данными. Наш продукт совместим с отечественными BI-инструментами. Благодаря применению готовых решений партнёров, система может дополняться функциями для управления потоками данных, обеспечения мобильности, построения моделей данных, применения AI-технологий и т. д. По требованию заказчика мы можем также предоставить оборудование и системное ПО», — отмечает компания-разработчик платформы RSIS.

Команда разработчиков «Яндекса» опубликовала исходный код масштабируемой платформы распределённого хранения и обработки больших данных YTsaurus.

YTsaurus разрабатывается компанией с 2010 года и является одним из ключевых элементов внутренней IT-инфраструктуры «Яндекса». В основу платформы положен набор связных подсистем: MapReduce, движок SQL-запросов, планировщик, KV-хранилище данных для OLTP. YTsaurus поддерживает работу с десятками тысяч серверов, обработку эксабайтов данных на разных носителях, а также интеграцию с ClickHouse и Apache Spark. Благодаря широкой функциональности платформа может быть использована для широкого круга задач — от аналитики и построения хранилищ данных до обучения сложных ИИ-моделей с миллиардами параметров.

Сценарии использования YTsaurus

«Платформа YTsaurus отлично зарекомендовала себя в «Яндексе». Теперь мы сделали её доступной и за его пределами. Наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объёмы данных на тысячах серверов в условиях постоянно возрастающей нагрузки. Мы уверены, что публикация кода выведет платформу на новый виток развития, как это уже было с другими нашими продуктами», — отмечает «Яндекс».

Исходный код и документация YTsaurus доступны на площадке GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать её под себя может любой желающий.

Новый департамент больших данных и искусственного интеллекта возглавил Сергей Сергиенко, до этого работавший советником министра. Курирует структуру профильный заместитель министра цифрового развития Григорий Борисенко.

Григорий Борисенко рассказал TAdviser, что профильные направления департамента отвечают за такие вопросы, как создание разных продуктов внутри ведомства с использованием данных, например, «фабрики данных», цифровые профили. Также в зону ответственности входят создание инфраструктуры для предоставления датасетов для обучения ИИ, анализ и работа над устранением нормативных и процессных барьеров, связанных с развитием и внедрением ИИ в госуправлении и в различных отраслях.

Источник изображения: Gerd Altmann / pixabay.com

Департамент отвечает, в том числе, за национальную систему управления данными (НСУД), за систему межведомственного электронного взаимодействия (СМЭВ) и различные аспекты перевода госуправления на цифровую основу. Ранее ответственность за них была распределена по разным департаментам. Департамент больших данных и искусственного интеллекта, 19-й по счету, был сформирован в конце 2022 года.

Компания «Диасофт» сообщила о расширении функциональных возможностей технологической платформы Digital Q.DataFlows, предназначенной для управления данными в корпоративной среде.

Программный комплекс Digital Q.DataFlows состоит их трёх компонентов Data Catalog, Data Streamer и Data Quality, обеспечивающих решение разнообразных задач аналитической обработки информации. Платформа формирует полное представление о том, какими данными располагает организация, и как они взаимосвязаны, позволяет создавать и выполнять процессы преобразования и транспортировки данных между IT-системами, а также обеспечивает мониторинг метрик качества данных, их актуализацию и встраивание инструментов контроля в процессы обработки данных. Поддерживается взаимодействие с различными источниками и массивами данных.

Источник изображения: diasoft.ru

Ключевым нововведением Digital Q.DataFlows стал инструмент Data Lineage для отслеживания происхождения данных и их потоков — маршрутов, по которым информация перемещается между внешними сущностями, процессами и хранилищами данных. С его помощью аналитики и специалисты по Big Data могут определять источники и местонахождение данных, взаимосвязи между ними и их потоками, отслеживать изменения, которые происходят в процессе трансформации данных, выявлять ошибки и причины их возникновения, а также определять ответственных за работу с той или иной информацией.

Решение Digital Q.DataFlows создано на базе микросервисной архитектуры и встраивается в IT-ландшафт любой организации.